#LLM compression

4 篇

What We Keep of What We Forget: Replacement Operators and Routing Semantics in Training-Free MoE Expert Pruning

训练无关 MoE 专家剪枝中的替换算子与路由语义

🧭 MoE 专家剪枝 · 替换算子与路由语义 ★ 深度解读

School of Electrical Engineering and Computer Science (SEECS), National University of Sciences and Technology (NUST) · Deep Learning Laboratory, National Center of Artificial Intelligence (NCAI), NUST

固定剪枝掩码，系统比较 MoE 专家替换算子与门控尺度，提出倾斜新手算子并揭示 trained-scale rule

📌 工作参考价值（4 点）

部署 MoE 推荐/Agent 模型时，剪枝后不要默认 renormalize 幸存者 gate；先检查原模型 router 是否在训练时做了 top-k renormalization，保留与其一致的 gate scale（trained-scale rule），否则可能掉 0.8–8.5 个点，甚至反转 rerouting 是否优于均值常数。
若要对剪掉的专家做廉价替代，可用 tilted novice：只存一个低秩输入映射（rank-32 甚至 rank-8），参数增加约 1.2–1.8%，在多项选择和生成任务上稳定优于均值常数，且对 3/4-bit 量化鲁棒；比保留更多专家更省参数。
评估剪枝模型不能只看 MCQ；务必加入 GSM8K、代码生成等推理/生成任务，因为 25% 剪枝时 MCQ 可保留 92–97%，但 GSM8K 仅 5–65%、代码 0–17%，结论可能反转。
校准数据域对剪枝 mask 影响很大（4–9 倍于重采样），推荐/Agent 场景应使用与线上分布一致的校准数据，并报告不同校准切片的结果；仅用通用文本可能掩盖领域退化。

LLM | 2026-10-29 | HF Daily | score 8/10

Structured Transforms for Low-Overhead Quantization of Language Models

用于低开销语言模型量化的结构化变换

🧭 LLM 权重后训练量化 · Kashin 分解

Institute of Numerical Mathematics · Steklov Mathematical Institute

用符号随机 DCT 替代 Kashin 量化中的稠密正交矩阵，O(N log N) 实现稳定 4-bit LLM 压缩

📌 工作参考价值（4 点）

部署 LLM Agent / 生成式推荐时，可尝试用 Kashin-DCT 4-bit PTQ 替代或补充 GPTQ/AWQ；在长尾或压力输入下 QuIP 类可能发散到高 PPL 或 NaN，该方法数值稳定，适合对稳定性要求高的线上 serving。
若推理硬件支持原生 2-bit，该分解将每个权重存为两个 2-bit factor code，避免 3/4-bit 非原生格式的额外开销，降低内存带宽占用；可评估在广告/电商 LLM 服务中的收益。
将稠密随机正交变换换成 sign-randomized DCT，复杂度从 O(N^2) 降到 O(N log N)，且 2-bit 聚类中心采用闭式初始化，省去 multi-restart k-means；这种结构化变换 + 确定性初始化的思路可迁移到其他 VQ/低秩压缩流程。
该方法与 OPTQ 顺序误差补偿、QuIP 非相干预处理组合有效，说明可以作为插件接入现有 GPTQ/QuIP 量化管线，不必重做端到端 pipeline。

LLM | 2026-09-10 | cs.CL | score 7/10

post-training quantization Kashin decomposition DCT low-bit inference LLM compression

Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs

量化感知修复：恢复压缩4位大模型的实用方法

🧭 LLM 压缩量化与蒸馏修复

Multiverse Computing

提出 Quantization-Aware Healing (QAH)，从原始未压缩模型直接蒸馏到4-bit量化学生，比 QAT 更快更稳，并开源 Hypernova-60B

📌 工作参考价值（4 点）

部署压缩大模型时，直接采用 QAH 蒸馏代替传统 QAT 恢复流程：在结构压缩+量化后，从原始未压缩模型蒸馏到量化学生，而非从 bfloat16 压缩中间模型蒸馏或 QAT 重训，可显著加速收敛（约7倍）并避免峰值后崩溃，减少手动早停的调参成本。
适用于电商/Agent 中需要低成本 LLM 推理的场景：例如用压缩量化后的 LLM 做 query 推荐、对话生成或商品文案，QAH 能保持与更大模型相近的质量，同时降低 4 倍权重内存和一半参数量，适合线上部署。
注意分布式训练后端对质量的影响：工程实现时需固定并验证后端（如 PyTorch FSDP、DeepSpeed 等），该论文报告了后端差异导致的可复现性差距，建议在训练压缩模型时对比后端并固定配置。
如果追求快速低成本恢复压缩模型，可以优先尝试蒸馏而非硬标签 QAT：QAH 对超参不敏感，不需要多周搜索，适合业务中快速迭代模型压缩版本。

Training | 2026-08-21 | cs.CL | score 7/10

Quantization-Aware Healing QAT 4-bit quantization MXFP4 distillation LLM compression

Output-Space Allocation Costs for Calibration-Guided LLM Compression: An Empirical Study

校准引导LLM压缩中输出空间分配成本实证研究

🧭 LLM压缩 · 分配成本优化

Analemma

将压缩分配成本对齐到输出空间可小幅提升零样本准确率，但会损害语言建模困惑度，且效果受压缩比影响。

📌 工作参考价值（4 点）

电商推荐中若需压缩LLM，低压缩比（<20%）时分配成本函数影响极小，可直接使用简单的权重空间误差，节省工程开销。
高压缩比下，若核心业务指标是下游任务准确率（如推荐解释生成），可将校准分配成本对齐至输出空间（如激活重建误差），但需警惕语言模型困惑度上升可能影响其他文本质量。
不同分配目标会导致准确度与困惑度权衡，建议根据线上 A/B 指标选择最优成本函数，避免只依赖单一代理指标。
ROCKET-ActCost 的修改成本低，可直接在现有稀疏分解压缩框架中替换成本计算，对齐方式可迁移到其他校准引导压缩方法。

LLM | 2026-06-26 | cs.CL | score 6/10

LLM compression calibration output-space allocation ROCKET perplexity-accuracy tradeoff